# OOV (Out-Vocabulary)

## 개요

**OOV**(Out-ofocabulary)는 자연어처리(Natural Language Processing, NLP) 분야에서 자 등장하는 핵심 개념으로, 모델이 학습 과정에서 접하지 못한 단어를 의미합니다. 이는 특히 토큰화(tokenization) 단계 이후 모델의 어휘 집합(vocabulary)에 포함되지 않은 단어를 지칭하며, NLP 시스템의 성능 저하 원인 중 하나로 꼽힙니다. OOV 문제는 기계 번역, 텍스트 생성, 음성 인식, 감정 분석 등 다양한 응용 분야에서 중요한 도전 과제로 작용합니다.

## OOV의 정의와 발생 원인

### 정의

OOV는 "어휘 집합 외부의 단어"를 의미합니다. 예를 들어, 언어 모델이 학습 데이터에서 "고양이", "강아지", "사자"와 같은 단어만 포함된 어휘 집합을 구성했다면, 추론 시 "치타"라는 단어가 입력되더라도 모델은 이를 인식할 수 없어 OOV로 처리하게 됩니다.

### 주요 발생 원인

1. **희귀 단어**(Rare Words): 자주 등장하지 않아 어휘 집합에서 제외된 단어들.
2. **신조어 및 신어**(Neologisms): 새로운 시대에 등장한 단어(예: "메타버스", "디지털 트윈").
3. **고유명사**(Proper Nouns): 사람 이름, 지명, 브랜드명 등(예: "이재현", "제주도", "카카오").
4. **오타 또는 철자 오류**(Spelling Errors): 사용자의 입력 오류로 인해 어휘에 없는 형태로 등장.
5. **구어체 및 줄임말**(Slang and Abbreviations): "ㅋㅋ", "존잘", "인정" 등 인터넷 언어.
6. **문서의 도메인 차이**: 의학, 법률 등 전문 도메인에서 사용되는 특수 용어가 일반 어휘 집합에 포함되지 않음.

## OOV 문제의 영향

OOV 단어는 다음과 같은 부정적인 영향을 미칩니다:

- **모델 성능 저하**: 문장 이해, 번역, 생성 등의 정확도가 떨어짐.
- **의미 왜곡**: OOV 단어를 무시하거나 오해함으로써 문맥이 잘못 해석됨.
- **불완전한 출력**: 번역 결과나 생성 텍스트에서 중요한 정보 누락.

예를 들어, 기계 번역 시스템이 "She visited Busan"을 번역할 때, "Busan"이 OOV라면 "She visited [UNK]"처럼 `[UNK]` 토큰으로 치환되어 의미가 손실될 수 있습니다.

## OOV 문제 해결 기법

### 1. 서브워드 토크나이제이션(Subword Tokenization)

서브워드 기반 토크나이제이션은 단어를 더 작은 단위(서브워드)로 분할함으로써 OOV 확률을 줄입니다. 대표적인 방법으로는 다음과 같은 알고리즘이 있습니다:

- **Byte Pair Encoding (BPE)**: 자주 등장하는 문자 쌍을 병합하여 토큰을 생성.
- **WordPiece**: BERT에서 사용되며, 확률 기반으로 서브워드 단위를 결정.
- **SentencePiece**: 공백도 하나의 기호로 처리하며 언어 독립적 토크나이제이션 가능.

> 예: "running" → "run" + "##ning" (WordPiece 기준)

이 방식은 "unseenword"와 같은 신조어도 "un", "##seen", "##word" 등으로 분해하여 처리 가능하게 합니다.

### 2. [UNK] 토큰 활용과 대체 전략

OOV 단어는 일반적으로 `[UNK]`(Unknown) 토큰으로 대체되지만, 단순히 이를 무시하는 것은 비효율적입니다. 대안 전략으로는:

- **유사 단어 치환**: 임베딩 공간에서 유사한 단어로 대체.
- **철자 기반 추론**: 오타 교정 모델을 통해 정확한 단어를 추정.
- **문맥 기반 예측**: 주변 단어의 문맥을 기반으로 OOV의 의미를 추론.

### 3. 어휘 집합 확장

- **동적 어휘**(Dynamic Vocabulary): 추론 시 어휘를 실시간으로 확장.
- **도메인 적응**: 특정 도메인 데이터를 추가 학습하여 어휘 보강.

### 4. 언어 모델 아키텍처 개선

- **문자 기반 모델**(Character-level Models): 단어 대신 문자 단위로 처리하여 OOV 문제 완화.
- **하이브리드 모델**: 단어 + 문자 기반 임베딩을 결합.
- **Transformer 기반 모델**: 서브워드 토크나이제이션과 함께 사용 시 OOV에 강건함.

## OOV 평가 지표

OOV 문제의 심각성을 측정하기 위해 다음과 같은 평가 지표를 사용합니다:

| 지표 | 설명 |
|------|------|
| OOV 비율 | 테스트 데이터 내 OOV 단어의 비율 |
| OOV 처리 정확도 | OOV 단어를 얼마나 정확히 추론/복원했는지 |
| 어휘 커버리지 | 학습 데이터의 어휘가 테스트 데이터를 얼마나 커버하는지 |

예를 들어, 어휘 크기가 30,000개인 모델이 테스트 데이터의 95% 단어를 커버한다면, OOV 비율은 5%입니다.

## 관련 기술 및 최신 동향

- **ULMFiT, BERT, GPT**와 같은 사전 학습 모델은 서브워드 토크나이제이션을 기본으로 채택하여 OOV 문제를 크게 완화.
- **다국어 모델**(예: mBERT, XLM-R)은 공유 서브워드 어휘를 사용하여 다양한 언어의 OOV 문제를 해결.
- **Zero-shot 및 Few-shot 학습**은 새로운 단어에 대한 일반화 능력을 향상시킴.

## 결론

OOV 문제는 자연어처리 시스템의 성능과 정확도에 직접적인 영향을 미치는 핵심 이슈입니다. 단순히 어휘를 늘리는 것보다는, **서브워드 토크나이제이션**, **문맥 기반 추론**, **모델 아키텍처 개선** 등의 전략적 접근이 필요합니다. 특히 최근의 대규모 언어 모델(LLM)들은 이러한 문제를 효과적으로 완화하고 있지만, 여전히 드문 단어, 오타, 신조어 등에 대한 처리는 연구 및 개선이 필요한 분야입니다.

## 참고 자료 및 관련 문서

- [Sennrich, R., et al. (2016). Neural Machine Translation of Rare Words with Subword Units](https://arxiv.org/abs/1508.07909)
- [Wu, Y., et al. (2016). Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation](https://arxiv.org/abs/1609.08144)
- [Devlin, J., et al. (2019). BERT Pre-training of Deep Bidirectional Transformers for Language Understanding](https://arxiv.org/abs/1810.04805)
- 관련 문서: [토큰화](/wiki/토큰화), [임베딩](/wiki/임베딩), [자연어처리 모델 아키텍처](/wiki/NLP_모델_아키텍처)